Robot exclusion headers

Общая лексика: HTTP-заголовки для блокирования роботов (http://www.multitran.ru/c/m.exe?a=ForumReplies&MessNum=436)